Learning from Research: Toward Lifelong Agent Harness Evolution
从研究文献学习:面向终身 Agent Harness 演化
🧭 Agent harness 终身演化 · 文献驱动搜索 ★ 深度解读
University of California, Santa Barbara · Microsoft
用论文检索、主题建模和模块化交叉重组,在冻结 LLM 下自动演化 Agent 执行层 harness
📌 工作参考价值(5 点)
- 把 Agent 执行层拆成 Tool / Context / Skills / Memory / Workflow 五个模块,只演化 harness 代码、冻结 LLM 权重。业务上可以在不重训模型的前提下快速迭代线上 Agent,尤其适合电商导购、客服、广告投放等需要频繁调整工具和上下文策略的场景。
- 失败轨迹不要直接喂给 coding agent 改代码,先做 failure audit,把 badcase 抽象成 capability gaps,再转成 research queries 去查论文。这样能把业务问题翻译成文献检索问题,持续引入新机制。
- 用 TopicGPT 式主题建模把候选论文聚成正交机制族,按 round-robin 分配预算,而不是按 relevance ranking 取 top-K。可避免反复在 workflow 里加 verifier、多 Agent 辩论等内卷操作,探索更宽的机制空间。
- 单模块 mutation 之后再做 crossover 组合评估:先用 additive predicted gain 便宜初筛组合,再对短名单实测。注意单模块指标排名不能预测组合效果,这对应推荐系统中召回/排序/策略模块的组合搜索,值得直接复用。
- 终身演化可以作为工程机制:定期拉取新论文,从当前 champion 启动新一轮搜索,用独立的 validation tasks 做 fitness,test 严格隔离。适合让线上 Agent harness 跟进学术界最新 memory consolidation、skill library 等方法。